What Should We Ask Next? Retrieval-Aware Question Learning under Partial Evidence
下一步应该问什么？部分证据下的检索感知问题学习
🧭 检索感知的提问策略学习 · RL ★ 深度解读
Sichuan University · University of California, Berkeley
通过在线 RL 直接从检索排名反馈优化提问策略，替代离线 QA 排序模仿，五轮 R@1 提升 5.79 个点
📌 工作参考价值（4 点）
- 用检索结果变化（如 reciprocal-rank gain 或业务指标）作为 reward 在线优化 Agent 的澄清提问/query 生成策略，不要依赖人工标注的问题质量或静态候选区分度；GRPO 可稳定训练，且训练好的策略可跨 retriever 迁移。
- 将当前 Top-K 候选项直接作为多模态上下文输入给策略模型，去掉 selector 等中间组件，让策略直接学习如何利用候选差异；在电商对话式搜索中可让 Agent 直接观察当前召回 Top-N 商品图像/标题来生成澄清问题。
- 实现一个 validity gate 约束生成，过滤掉候选索引引用、请求泄露记忆、重复提问等，防止 RL 策略走捷径；在训练和推理都使用，可大幅减少无效动作并避免策略崩溃。
- 分析显示局部开放属性问题（如“什么颜色/材质”）比 yes/no 问题带来更大的检索增益，策略会自发将预算分配给这类问题；可参考该结论引导电商对话式搜索中的问题类型分配，优先问具体属性而非泛泛确认。